Associazione Medici Diabetologi（AMD）收集并管理着全球最大的糖尿病患者记录集合之一，也称为AMD数据库。本文介绍了一个正在进行的项目的初步结果，该项目的重点是人工智能和机器学习技术的应用，以概念化，清洁和分析如此重要且有价值的数据集，目的是提供预测性见解，以更好地支持糖尿病学家的诊断糖尿病学家和治疗选择。
translated by 谷歌翻译
Large language models (LLMs) have been shown to be able to perform new tasks based on a few demonstrations or natural language instructions. While these capabilities have led to widespread adoption, most LLMs are developed by resource-rich organizations and are frequently kept from the public. As a step towards democratizing this powerful technology, we present BLOOM, a 176B-parameter open-access language model designed and built thanks to a collaboration of hundreds of researchers. BLOOM is a decoder-only Transformer language model that was trained on the ROOTS corpus, a dataset comprising hundreds of sources in 46 natural and 13 programming languages (59 in total). We find that BLOOM achieves competitive performance on a wide variety of benchmarks, with stronger results after undergoing multitask prompted finetuning. To facilitate future research and applications using LLMs, we publicly release our models and code under the Responsible AI License.
translated by 谷歌翻译
众所周知，端到端的神经NLP体系结构很难理解，这引起了近年来为解释性建模的许多努力。模型解释的基本原则是忠诚，即，解释应准确地代表模型预测背后的推理过程。这项调查首先讨论了忠诚的定义和评估及其对解释性的意义。然后，我们通过将方法分为五类来介绍忠实解释的最新进展：相似性方法，模型内部结构的分析，基于反向传播的方法，反事实干预和自我解释模型。每个类别将通过其代表性研究，优势和缺点来说明。最后，我们从它们的共同美德和局限性方面讨论了上述所有方法，并反思未来的工作方向忠实的解释性。对于有兴趣研究可解释性的研究人员，这项调查将为该领域提供可访问且全面的概述，为进一步探索提供基础。对于希望更好地了解自己的模型的用户，该调查将是一项介绍性手册，帮助选择最合适的解释方法。
translated by 谷歌翻译
视频效果旨在通过给定的输入视频序列预测每个帧的α哑光。在过去的几年中，深度卷积神经网络（CNN）的最新解决方案一直由深度卷积神经网络（CNN）主导，这已成为学术界和工业的事实上的标准。但是，它们具有内置的局部归纳性偏见，并且由于基于CNN的架构而不会捕获图像的全局特征。在处理多个帧的特征图时，考虑到计算成本，他们还缺乏远程时间建模。在本文中，我们提出了VMFormer：一种基于变压器的端对端方法，用于视频垫子。它可以通过视频输入序列从可学习的查询中对每个帧的α哑光进行预测。具体而言，它利用自我发挥的层来建立特征序列的全局集成，并在连续帧上使用短距离的时间建模。我们进一步应用查询来通过在所有查询上使用远程时间建模的变压器解码器中的交叉注意来学习全局表示形式。在预测阶段，查询和相应的特征图均用于对Alpha Matte的最终预测。实验表明，VMFormer在合成基准测试上的表现优于先前基于CNN的视频效果方法。据我们所知，这是第一个基于完整视觉变压器建立的端到端视频底漆解决方案，并对可学习的查询进行预测。该项目在https://chrisjuniorli.github.io/project/project/vmformer/上开源
translated by 谷歌翻译
培训和评估语言模型越来越多地要求构建元数据 - 多样化的策划数据收集，并具有清晰的出处。自然语言提示最近通过将现有的，有监督的数据集转换为多种新颖的预处理任务，突出了元数据策划的好处，从而改善了零击的概括。尽管将这些以数据为中心的方法转化为生物医学语言建模的通用域文本成功，但由于标记的生物医学数据集在流行的数据中心中的代表性大大不足，因此仍然具有挑战性。为了应对这一挑战，我们介绍了BigBio一个由126个以上的生物医学NLP数据集的社区库，目前涵盖12个任务类别和10多种语言。 BigBio通过对数据集及其元数据进行程序化访问来促进可再现的元数据策划，并与当前的平台兼容，以及时工程和端到端的几个/零射击语言模型评估。我们讨论了我们的任务架构协调，数据审核，贡献指南的过程，并概述了两个说明性用例：生物医学提示和大规模，多任务学习的零射门评估。 BigBio是一项持续的社区努力，可在https://github.com/bigscience-workshop/biomedical上获得。
translated by 谷歌翻译
本文考虑了Pensky和Wang（2021）中引入的各种多重（Dimple）网络模型，该网络的所有层都具有相同的节点集合，并配备了随机块模型。此外，所有层都可以分为具有相同社区结构的组，尽管同一组中的层可能具有不同的块连接概率矩阵。 Dimple模型概括了许多论文，这些论文在所有层中研究具有相同社区结构的多层网络，以及混合物多层随机块模型（MMLSBM），同一组中的层具有相同的块连接概率的矩阵。彭斯基和王（2021）将光谱聚类应用于邻接张量的代理，而本文则使用稀疏的子空间聚类（SSC）来识别具有相同社区结构的层组。在轻度条件下，后者导致层间聚类非常一致。此外，SSC允许比Pensky和Wang（2021）的方法处理更大的网络，并且非常适合应用并行计算。
translated by 谷歌翻译
自然语言理解（NLU）研究中的核心问题是高性能是否展示了模型的强大推理能力。我们提出了一系列广泛的受控实验，其中预先接受了训练的语言模型被暴露于经历特定的损坏变换的数据。转换涉及去除特定词类的实例，并且经常导致非感性句子。我们的研究结果表明，当模型在损坏的数据上进行微调或测试时，大多数胶水任务的性能仍然很高，表明模型即使在非感性背景下也可以利用其他线索进行预测。我们所提出的数据转换可以用作评估特定数据集构成适当测试设备的诊断工具，用于评估模型的语言理解能力。
translated by 谷歌翻译
递归名词短语（NPS）具有有趣的语义属性。例如，“我最喜欢的新电影”不一定是“我最喜欢的电影”，而“我最喜欢的电影”是。这对人类来说是常识，但它是未知预先接受预审的语言模型有这样的知识。我们介绍了递归名词短语挑战（RNPC），是针对对递归NPS的理解的挑战。在评估我们的数据集时，最先进的变压器模型只能实现偶然的偶然性能。尽管如此，我们表明这些知识是以适当的数据学习。我们进一步探讨了可以从我们的任务中学到的相关语言功能的模型，包括修饰语语义类别和修改范围。最后，培训的模型在外在伤害检测任务上实现了强大的零射击性能，显示了在下游应用中了解递归NP的有用性。所有代码和数据都将在https://github.com/veronica320/recursive-nps发布。
translated by 谷歌翻译
由于行业和人口的兴趣，{分散的应用程序}（DAPPS）的利益，占据了势头，特别是通过在区块链中担保的数字证书进行交易资产的势头。因此，提供对在区块线上进行的任何活动的清晰明确描述变得至关重要，并且我们认为至少为交易实现该描述的紧迫性。本文报告了如何利用\ eMPH {Service，Systems和Services集成的代理，系统和集成}（“\ ont {}”）作为存储在SlockChain上作为软件代理的智能合同的语义表示的一般手段。特别注意非娱乐令牌（NFT），其通过ERC721标准的管理作为案例研究。
translated by 谷歌翻译